“硅谷NEC Lab的群星闪耀,是中国互联网企业迈入AI时代的序曲。”
作者 | 李梅编辑 | 陈彩娴
2012 年春节前夕,李彦宏特地抽出时间,在北京接见了一位从硅谷飞来、在国内名不见经传的技术青年。这人三十来岁,戴着黑框眼镜,圆脸,个子不高,但口中所言句句都让李彦宏兴奋不已。这个人,就是时任硅谷NEC Lab主任的余凯,一位深度学习早期的少数派和虔诚信徒。眼下,他有种强烈的感受,人工智能将很快在产业中爆发其技术潜力,而国内如火如荼的互联网正是一片沃土,这是回国的好时机。李彦宏就在这时找到了余凯。谷歌全面退出中国内地市场后,百度正是春风得意。对技术敏感的李彦宏紧跟国内外顶尖科技团队动态,很快察觉到人工智能会为百度带来新的机会,开始四处寻找人才。两人见面,余凯布道深度学习,李彦宏则大谈自己对语音识别和图像识别的兴趣。双方内心都有一种相见恨晚的激动与澎湃。也就是在这一天,余凯与李彦宏为百度和中国 AI 做了一次历史性的相互选择:李彦宏抛出橄榄枝,邀请余凯回国。在大时代洪流的驱使下,余凯毅然结束了硅谷六年生涯,回国加入百度,成立多媒体部,开始研究语音识别和图像识别。此前,百度在 AI 方面的研究积累几乎为零,余凯加入后,百度才率先注入深度学习的基因。余凯在短短几个月里,为李彦宏兜售了深度学习的潜力。李彦宏一次次受到震撼,甚至给全公司的产品经理发信,要求他们必须重视「深度学习」这门技术。深度学习的另一代名词「神经网络」也开始在国内传开,百度首先养活了国内最早一批做数据标注的公司。不过,真正让李彦宏下定决心「重仓」深度学习的,是 2012 年 12 月余凯代表百度参加的一场竞拍失利。Geoffrey Hinton 团队研发出的神经网络 AlexNet 在全球顶级图像识别大赛 ImageNet 上一举夺冠,在世界范围内引起轰动,余凯作为曾经的冠军深受感触,也更知道 AlexNet 所代表的 AI 技术范式的颠覆性。于是,他立即给 Hinton 发去一封邮件,表达想要合作的迫切期待。这封邮件启发了 Hinton 在当年 NIPS 大会上发起一场秘密竞拍,吸引了全球四家也是如今在 AI 领域大名鼎鼎的领头羊:谷歌、微软、百度与 DeepMind。百度出价到数千万美元,最终惜败谷歌。但借余凯的眼,李彦宏目睹了美国的有力对手追求深度学习的疯狂,感受到了危机。次年 1 月,李彦宏即筹备成立了全球第一家以「深度学习」命名的 AI 实验室——百度深度学习研究院(IDL)。李彦宏亲任院长,余凯担任常务副院长。
时隔多年回看,那场竞拍第一次暗示了中美科技巨头在 AI 领域的较量:谷歌胜出后,Hinton 加入谷歌开启了美国深度学习的浪潮,而余凯则借助百度的平台,在人才引入与技术推动中,奇点般地将中国互联网企业拽进了下一个黄金时代:人工智能时代。余凯是百度 IDL 早期的实际运作者。在他的影响下,百度吸引了一大批杰出 AI 科学家,如飞桨平台的创始人徐伟、后来地平线的联合创始人黄畅以及后来百度研究院院长林元庆。巧合的是,历史上他们都曾在同一个地方插下到访的旗帜:硅谷NEC Lab。以这批 NEC 注入百度的人才为中心,尤其是余凯,他们又虹吸了更多的科学家,如吴恩达。百度的「少帅计划」最初由李彦宏提出,目的是吸引年轻人才,余凯主力游说了李沐(后亚马逊 AI 首席科学家,现大模型创业公司 Boson.ai 创始人)、李磊(后字节跳动 AI Lab 总监)、顾嘉唯(现物灵科技 CEO)加入。中国最早的自动驾驶项目也诞生在 IDL。倪凯、杨文利、张天雷等自动驾驶元老,都是余凯当时为该项目招进去的第一批员工。其他人物如张潼(后腾讯 AI Lab 主任)、贾扬清(后阿里技术副总裁,现大模型框架创业者),也都跟 NEC 或 NEC 的人在 AI 走向中国企业的过程中有所交集。他们中的大多数人都成为了中国企业里知名的 AI 科学家,但背后这座影响了他们的飞地以及飞地的故事,则少为人知。2009 年 10 月,国际视觉挑战赛 Pascal VOC 的结果在日本京都的 ICCV 大会上揭晓,一个来自 UIUC 与 NEC 的合作团队摘得分类赛道冠军,图像识别精度甩开第二名 5%。硅谷NEC Lab开始声名远扬。Pascal VOC 在当时被誉为计算机视觉界的「世界杯」。时任 NEC 主任的龚怡宏聚集了实验室里几个最擅长图像研究的青年人才,如余凯、徐伟、王进军、吕凤军,与 UIUC 「华人视觉之父」黄煦涛的学生杨建朝和周曦一起,投入五个月,研发出一个新的稀疏编码模型来做图像识别,没想一举世界杯夺冠。龚怡宏有些意外。那一年,正好是他加入 NEC 硅谷的十周年。十年前,1999年,硅谷 NEC 一个华人科学家也没有,他是第一个加入 NEC 的华人。十年后,NEC 已经聚集一批优秀的青年 AI 研究者。尽管人工智能在当时仍是不温不火,但在他们的带领下,NEC 美国研究院逐渐成为了国际机器学习重镇之一。龚怡宏
上世纪 80 年代末是日本经济的最高峰时,日本电气股份有限公司(NEC)在美国设立研究院,分为普林斯顿总部和硅谷分部。
龚怡宏是中国最早一批日本公派留学生,在 1983 年赴东京大学留学,一路念完本硕博。毕业后,他曾先后短暂在新加坡南洋理工大学和美国卡内基梅隆大学(CMU)任教过,但都只干了短暂几年,最终偶然的机会来到硅谷NEC Lab媒体分析部,事业开始稳步腾飞。
硅谷NEC Lab三层小楼,位于库比蒂诺市(苹果总部所在地,有「硅谷心脏」之称)龚怡宏为硅 NEC Lab引进第一批从事人工智能研究的华人科学家。2001 年,他首先找到了 CMU 硕士毕业的徐伟,一个不可多得的天才。徐伟本科在清华大学就读,在神经网络还处于低潮期时就已经开始研究。1998 年毕业后,他去 CMU 读硕士,提出了一个神经网络语言模型,是世界上最早用神经网络(即后来的「深度学习」)方法研究自然语言处理的开山之作。依徐伟的水平,继续深造、拿下博士学位完全不成问题,但他更想马上将神经网络技术应用到工程问题中,就没有申请读博,而是出来找工作。龚怡宏看人很准,立即引进徐伟。徐伟是龚怡宏为 NEC 招入的第一个 CMU 人才,与徐伟同期的还有「NEC 大师姐」韩玫。
同一年,龚怡宏还招进一位暑期实习生,名叫朱胜火,在罗彻斯特大学读博士三年级。朱胜火 1994 年从浙江大学本科毕业,之后去清华读研,跟着黄昌宁和周明做自然语言处理和机器翻译研究。1997年,他又到罗彻斯特大学继续深造机器学习。博士读到中期,朱胜火慕名来 NEC 实习,他数学能力出众,通过了龚怡宏的面试,跟着龚怡宏做了几个月的多媒体研究。2003 年朱胜火博士毕业时,选择并不多,当时美国经济萧条,国内的 AI 也还没发展起来,所以他先去了亚马逊机器学习团队做推荐算法研发。那时候的亚马逊还是一个只有几十人的创业小团队。但接触一年多业务后,朱胜火觉得还是需要更深入的研究,于是决定再回到 NEC。
没多久,余凯、王进军、林元庆等人也相继到来。这当中,朱胜火的「鼓动」起到了重要作用。2005 年 8 月中旬,朱胜火前往巴西萨尔瓦多,参加信息检索领域的顶级会议 ACM SIGIR。就在这个会议上,朱胜火第一次见到余凯。那时的余凯二十九岁,刚从慕尼黑大学博士毕业一年。余凯是江西南昌人,在南京大学完成本硕学位,接着赴德读博,毕业后在德国西门子中央研究院工作。朱胜火这次来参会,除了做学术交流,还打算捞些人才进 NEC。他先前读过余凯的工作,印象很深刻,正好这次碰上,就上前与余凯攀谈。聊到投机之处,朱胜火问余凯:「有没有兴趣去美国?」余凯正有换工作的打算,加上跟朱胜火十分谈得来,就回应很有意愿。朱胜火待人热情,余凯亦很健谈,两人在巴西很快熟络起来。中间朱胜火遭遇了一次抢劫,与人周旋搏斗受了点伤,余凯敬佩地夸他真是有勇气,他则笑着摆手说,「哪里哪里,那人抢我的时候,我只是不停地跟他说随便拿,可是人家听不懂。」余凯就觉得「这哥们儿憨憨的,很好玩」。不过那段时间,余凯也在考虑回国发展,还拿了微软亚洲研究院(MSRA)的 offer。MSRA 那时由沈向洋领导,是国际上名气最大的 AI 研究院。而当时的 NEC 美国研究院也很强,有过许多祖师爷级别的大牛坐镇,如 SVM(支持向量机)的发明人 Vladimir Vapnik、深度学习先驱 Yann LeCun 等,对人才也很有吸引力。当时,如果在谷歌搜索「NEC Labs American」,谷歌会「夹带私货」地弹出一则谷歌招聘广告。余凯几经犹豫,最后在身边朋友的建议下,决定不妨先去硅谷转一圈。2006 年走进 NEC 的余凯已经笃定,自己最终是要回国的。没有人料到,这个念想在六年后会直接推动整个中国 AI 的产业变革。如同朱胜火在学术会议上「鼓动」余凯,后来的许多人如王进军、林元庆等,也是在会议上经引荐、介绍而来到 NEC。那几年会议规模小,同一个圈子的人都能在会上碰到面、打上招呼。王进军比余凯晚一个月到 NEC。2004 年纽约 ACM Multimedia 会议上,王进军的博士导师徐常胜把他引荐给了好友龚怡宏。当时王进军在南洋理工大学读博士一年级,已经发表了多媒体检索方向的顶会论文,给龚怡宏留下了印象。两年后,龚怡宏找到当时在新加坡工作的徐常胜(现中科院自动化所研究员),问有没有不错的学生能推荐到 NEC。听到王进军的名字,他马上就回想起来,「王进军我记得,让他来很好」。之后王进军就与龚怡宏隔着大洋在电话上聊了一个多小时,通过了面试。
王进军
林元庆来到 NEC 是在 2008 年,由余凯和朱胜火介绍。他们三人第一次见面是 2007 年的 12 月温哥华举办的 NIPS 会议上。
当时是林元庆在宾夕法尼亚大学读博最后一年,他的论文被 NIPS 接收为 Oral(口头报告)。先前他在清华读光学工程硕士,博士则专攻机器学习。林元庆作报告时,余凯和朱胜火注意到了他。两人都认为他的研究水准很高,而且做的是与实验室很相关的稀疏学习(Sparse Learning)方向。他们就与林元庆聊了一番研究,听林元庆说正找工作,两人马上告诉他,NEC 还要招人。林元庆没有悬念地表示出了兴趣,次年毕业后就正式入职。这一时期,硅谷NEC Lab群贤毕至。他们大都从国内名校毕业,再到海外留学,然后聚在硅谷。这当中有不少清华子弟,除了上面提到的徐伟、朱胜火、林元庆等,还有 07 和 08 年进来的吕凤军与杨铭,两人都是清华本硕毕业,吕凤军是个编程大神,本科就出版过一本书叫《数字图像编程处理入门》,杨铭则十分擅长计算机视觉。在许多人的讲述中,NEC 是他们待过的研究自由度最大的地方,匠心如云。研究人员业务交付压力小,比如模型做出来后,业务还会谨慎复现一遍,原始代码不一定能用上,所以大家会开玩笑,「反正做的东西也用不到产品中」。NEC 的经费来源结构也很特殊,公司直接提供 70%,仅 30% 需要从 BU 获取,这就让他们更能专注做研究。在这种研究环境下,他们很快就取得了杰出的研究成果,尤其是深度学习。尽管后来深度学习爆发地不在 NEC,但 NEC 是世界上最早研究卷积神经网络(CNN)的实验室之一。90 年代的中美两地,分别有一个人坚持坐着神经网络的冷板凳——徐伟在清华大学将神经网络用在语言模型中,Yann LeCun 则在贝尔实验室研究 ATM 的支票识别。后来 LeCun 的团队解散,去了 NEC 普林斯顿总部,徐伟则是硅谷分部做深度学习的代表。徐伟动手能力极强,自己写了实验室的第一个卷积神经网络。后来 Caffe、PyTorch 等模型参数配置化的搞法,在徐伟当年实现的 CNN 当中都已经有了。余凯到来后,也成了实验室做深度学习的主力。他很感激地认为,结识徐伟是他进NEC「最大的一个收获」,是徐伟领他进入了深度学习领域。
接触过徐伟的人,都会强调他的聪明至极。他对问题的直觉很敏锐,还讲究效率到了极致。一个例子是,实验室在三楼的卫生间比较小,每天中午一起出去吃饭前,徐伟为了避免几分钟的等待,一定会先去二楼的卫生间。大家发现了都很惊奇,在这种小事上,徐伟也要奉行他效率优化的原则。同时,徐伟又十分低调,深藏许多功与名。比如在 Netflix 曾举办的百万美元推荐算法赛中,有个名叫「xyz」的团队长时间霸榜第一,却从未透露身份,在当时引起了讨论。这个神秘团队其实就是徐伟本人。后来,无论是在百度还是地平线,徐伟也都保持着对 AI 最纯粹的热情。在余凯、徐伟等人的努力下,NEC 在稀疏编码方面的研究做到了顶尖,2009 年的 Pascal VOC 冠军就是证明。也正是在这次冠军之后,他们这群人的方向开始有了第一次分岔。硅谷的投资人们找上了门,鼓动 NEC 这帮人做产业化。龚怡宏很心动,他一直都很看重研究的落地,早有创业的想法。再加上金融危机来势凶猛,公司受到波及,外面传闻不断,大家普遍骚动不安。那段时间,即使是在学术界名望很高的黄煦涛,也忧于筹不到足够经费来培养博士,只能无奈催促学生们尽量早点毕业。深思熟虑后,龚怡宏私下问了一圈大家的意见,正好王进军也有意创业。两人就很快在加州成立了一家公司,叫 AkiiRA Media Systems,做下一代视频搜索引擎。不过,时运不济,他们的这次产业化尝试并不算成功,市场环境未见好转,不到一年两人就离开了。之后龚怡宏便回了国,在 NEC 中国研究院任首席科学家,2012 年到西安交通大学任教。王进军先是去了美国 Epson 研究院,2013 年也回国加入了西交大。在龚怡宏走后,NEC 找到在团队里颇有号召力的余凯,问他如果找个人来当实验室的头儿,谁比较合适?余凯脱口而出「徐伟」。他当时也很焦灼,觉得公司不一定能撑得下去,就去外面找工作,拿了雅虎的offer。公司又去问徐伟的意见,徐伟则未经犹豫地答「余凯」。可见两人对彼此有足够的信任,也都想在离开前为团队选一个好的带头人。余凯领导力强,经常在家里组织聚会,大家甚至怀疑每周末全硅谷的华人科学家都聚在了他家。大家对带团队没太大兴趣,更愿意埋头做研究,杂事有人愿意去做就最好了。后来余凯对此「无奈」笑道,「这帮家伙鬼精鬼精的。」不过,徐伟先余凯一步离开去了 Facebook。他离职前,余凯把大家聚到一起拍了一段视频,视频里大家做着滑稽的表演,说着告别的话。他们彼此感情很好,中午一起开车出去吃饭,买单后还会拿剩下的零钱去买个彩票,幻想中了大奖下周就不用来上班了。周末约出去玩,他们聊天话题从一开始的天南海北到后来的家庭和育儿,对彼此了解很深。所以分别时刻,不无感伤。回过头看,2009 年这一波人才出走,更多是因为外部经济因素,而不是 AI 迎来了风口。但在深度学习爆发之前,留守在这幢小楼里的这群人,依然造就了 NEC 最后的辉煌,也为 2012 年之后在中国工业界掀起 AI 热潮做好了「无意」的准备。其中,余凯就是那个带领 NEC 走出「寒冬」的转折点。2009 年的年末,余凯还是决定留下来,他觉得自己有责任把 NEC 的力量重新凝聚起来。他设下两个目标,「向业界证明我们能够吸引最顶级的人才,做出世界上最优秀的成果」。接管实验室第一天,余凯就提出,大家以后在办公室不要再讲中文了,要更开放地广招人才。这一发话,大家就都从善如流。实验室这些年招的大都是华人,总部还为此抱怨多样性不够,要求他们招人要多元化。但没办法,那些白人、印度人往往都过不了面试。NEC 的面试也向来严格,实验室人少,宁缺毋滥。这次余凯亲自面试,招进来两个大神。一位是黄畅,清华本硕博毕业。他本科时就对图像识别很有热情,但直到博士毕业时,他还没想清楚图像识别如何在工业界大规模应用,就先去了南加州大学做博士后。直到 10 年,黄畅重燃对工业界的兴趣,经朋友引荐找到了余凯。在余凯眼里,黄畅「也跟徐伟一样,是个天才」,在人脸识别领域的研究是世界一流。另一位是印度人 Manmohan Chandraker,包揽多个最佳论文奖,余凯评价他是「3D 视觉做得最好的一个」。后来他接了林元庆的班,如今也还在 NEC 领导计算机视觉部门。余凯作为大家长,为实验室创造了很好的研究条件。他揽下大部分杂活,经常出差、跑项目,把实验室与总部的关系维系得相当好,经费很充裕。余凯还与学界和业界建立了广泛合作,对外交流很活跃,比如与吴恩达等学界研究者合作论文,受邀去斯坦福大学授课。余凯与吴恩达的相识,是在 2009 年 6 月的加拿大蒙特利尔。为了复兴神经网络研究,余凯与后来的深度学习三巨头 Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio,在国际机器学习大会 ICML 上组织了一场深度学习研讨会,并邀请了时任斯坦福大学教授的吴恩达做报告。那一次,余凯就记住了吴恩达这个与他同龄、说话温文尔雅的高个子,之后两人保持着很好的交情。有趣的是,同样在 2009 年,冬天,余凯从温哥华前往惠斯勒 NIPS 分会场,与几位研究者拼了一辆越野车上山。当时驾车的人是另一位中国深度学习引领者邓力。彼时邓力正在微软用神经网络发起语音识别革命,余凯则还不知道,不久后他也将在中国掀起一场深度学习产业变革的风暴。2010 年,余凯与黄煦涛再次合作,把林元庆、朱胜火、杨铭、吕凤军等人,UIUC 的实习生曹亮亮、周曦,以及罗格斯大学的教授张潼集中到一起,拿下了首届 ImageNet 挑战赛冠军。后来余凯自评,他进入工业界之后的第一件漂亮事儿,就是打赢了这场比赛,「可以说,在 2012 年 AlexNet 之前,我们用非监督的卷积深度学习算法做图像识别,是被广泛证明的最好算法。」实验室声誉高涨,大家此前的悲观情绪一扫而空,NEC 也继续吸引着优秀青年进来实习。2011 年,余凯收到一封来自伯克利 Trevor Darrell 教授的邮件,说他有个特别聪明的学生想做深度学习,但伯克利没有项目可做,想推荐到 NEC 实习。这个学生就是贾扬清。余凯觉得贾扬清资质很高,就立即找了黄畅一起来指导他。贾扬清正是从这里开始接触的深度学习,那段时间他所显示出的强大数学功底和工程代码能力,让所有人都毫不怀疑,这个年轻人不久就将在深度学习领域拿出惊人的东西来。
果然,几年后,贾扬清做出了影响全世界的深度学习框架 Caffe。之后他在谷歌和 Facebook 还参与了 Tensorflow、PyTorch 等框架的开发,影响深远。2019 年加入阿里巴巴后,贾扬清领导大数据 AI 业务,做到了行业领先。四年过去,他选择从阿里「毕业」,又回到了他最擅长的 AI 架构方向创业。相比当了时代「炮灰」的龚怡宏,余凯的出走更为幸运。2012 年,他在最好的时机回国,为百度带去了 NEC 的人才。离开之前,余凯强烈推荐了林元庆做实验室主任。林元庆有很强的闭环感,做事从一而终,余凯非常欣赏他这一点。
林元庆在任期间,继续吸引了一些人才进 NEC 。当中就有两位中科大校友王孝宇和杨天宝,另外还有 CMU 毕业的周峰。这一时期的知名实习生有杨天宝指导的谢赛宁(现纽约大学助理教授),后来他与何恺明提出了著名的 ResNeXt。当余凯一行人在百度轰轰烈烈搞深度学习时 ,身在硅谷的林元庆也带队迅速投入到深度学习。林元庆主攻机器学习,因此反应最快,开始利用深度学习做大规模细粒度图像识别和自动驾驶的 3D 视觉感知。他们在全世界最早用深度学习做物体检测,并凭借其中的技术获得了 2013 年 ImageNet 比赛的亚军,团队成员包括林元庆、王孝宇、朱胜火、杨铭、杨天宝以及密苏里大学的韩旭等人。在他们使用的框架中,深度学习在只是作为一个特征提取工具,名次虽居第二,但技术原创性非常强。当时,伯克利团队与他们差不多是同期用深度学习做检测,所以赛后林元庆和王孝宇就被邀请去伯克利报告他们的新发现,听众反应都很热烈。王孝宇说,也正是因为他们看重技术创新、追求完美,所以 13 年之后,比赛变得越来越工程化,他们就没再参加。13 年这次比赛排在 NEC 后面一位的,是 Yann LeCun 的团队。那时双方交流也很多,LeCun 曾在 NEC 留下的代码遗产还得到了后辈的传承,有次王孝宇参加一个人脸分析比赛,就使用了徐伟当年所写的代码,而徐伟那套代码最初是出自 LeCun 之手。这一时期,在林元庆的带领下,NEC 团队在计算机视觉三大顶会上发表的论文有了数倍提升,还揽下了 2014 年 CVPR 最佳论文奖。同时,一个明显的转变是,大家对研发成果商业化的渴望越来越强烈。但他们也很苦闷,在 AI 迎来产业化热潮的大环境下,在 NEC 做技术落地的空间不是那么大。NEC 一直以来的技术贵族做派,让它以前走在了技术最前沿,但现在,「阳春白雪」只能带来与市场的脱节。所以,2015 年前后,在中国 AI 崛起之际,NEC 人员的大批离开、回国成了必然。龚怡宏、余凯、林元庆,这三位带头人将硅谷NEC Lab建设成了最强的人工智能实验室之一。这里因此逐渐成了华人尤其是青年学生实习必去的一个地方。那时,美国各个名校都有博士来 NEC 实习,比如前面提到的贾扬清、谢赛宁等,不过这当中为 NEC 输送了最多青年人才的,还是 UIUC 的黄煦涛。2006 年,龚怡宏去黄煦涛组里访问,双方建立了稳定的合作。NEC 为黄煦涛提供研究经费,后者则每年派出组里 1 到 2 名优秀学生去实习。高校研究资金有限,学生在学校大多「过得苦哈哈」,而 NEC 的待遇和环境特别好,所以他们很愿意来。每年暑假,他们到 NEC 开展研究,到了 9、10 月份开始撰写论文,11 月向 CVPR 会议投稿,第二年中了稿到 3、4 月份去参加会议,就是这样一个流程。UIUC 的计算机学科非常强,是美国唯一能与「四大」并列的高校。作为计算机视觉泰斗黄煦涛的弟子,他的学生也都是天之骄子。宁华中、杨建朝、周曦、曹亮亮等人,都先后到 NEC 实习过,而且还都是中国科技大学校友。宁华中是中科大 96 级少年班毕业,硕士继续在中科大师从谭铁牛院士。他去 NEC 实习次数最多,连续去了三年。大家因此开玩笑说,宁华中这是卖给 NEC 了。杨建朝形容,那时候宁华中去实习,相当于组里跟 NEC 的一个结合部。
杨建朝来自中科大 0206 班,当时班里成绩最好。06 年他去 UIUC 读博,与同年来组里做博士后的颜水成(现智源研究院访问首席科学家)合作,发表了他第一篇具有影响力的文章,颜水成十分称道他的算法能力。他是跟着余凯时间最长、合作最多的一个实习生,08、09 年去了两次,做的是当时火热的稀疏编码研究。那时在 UIUC 任教的马毅是最早将稀疏编码用在视觉上的宗师,杨建朝就是他的重要传承者,两人在这个方向上的合作文章都成了经典。
2009 年,与杨建朝一起作为 Pascal VOC 比赛主力的还有周曦。周曦是中科大 9923 班毕业,硕士也在中科大做模式识别研究。2006 年到 UIUC,从语音转向图像,拿过六次世界智能识别大赛冠军。后来有次跟颜水成合作,周曦仅花了不到三天,就把颜水成先前耗了一个月的项目算法给实现了,让颜水成感叹不已。
另外还有曹亮亮,中科大 9806 班毕业,硕士去了香港中文大学汤晓鸥的多媒体实验室,2010 年来 NEC 实习。许多人的印象是,他不光聪明,还是「这批人里面的大帅哥」。
NEC 的正式员工中还有一些是黄煦涛学生的学生,比如杨铭。大家会开玩笑说,与他同期从 UIUC 来实习的学生虽然年龄比他小,但按辈分讲,杨铭得喊他们一声「师叔」。2012 年入职 NEC 的王孝宇也是类似,他的导师韩旭是黄煦涛的学生。入职前两年,王孝宇去 NEC 实习过两次,在杨铭的指导下做大规模图像搜索研究。他跟杨建朝是中科大的同班同学,之后到密苏里大学读博,是韩旭门下第一个博士。王孝宇入学三个月,就与韩旭、颜水成合作发了一篇一作 ICCV(Oral)论文,这成了他进 NEC 实习的一块敲门砖。
这些实习生阵列豪华,后来余凯回忆起来如数家珍,语气十分自豪,「我们在这些 shining stars 成长的早期一定程度上引导过他们的成长。」那时,硅谷NEC Lab的华人群星灿烂,研究氛围又十分自由。杨建朝如今在硅谷仍很怀念,「它就是一个 Research Lab,是个很灵活、很自由的团队,大家不是特别看重产品的产出。」这群人从 0 到 1 的追求,也是王孝宇最初去实习时就深刻感受到的。他刚到 NEC 时很懵,因为要做一个之前没做过、NEC 也没人做过的新方向,大规模图像搜索。他发现,每个人都会去发现和解决新问题,而非哪个技术火就去制造那个方向的论文。王孝宇很擅长短时间内把事情做到极致,所以很快出了成果。在 NEC 接受过训练的青年才俊,后来都在 AI 产业界成就了一番事业,成为各领域的知名人物。宁华中 2008 年从 UIUC 毕业后,先在微软待了一年,然后跳到了龚怡宏当时的创业公司,不到一年就离开了。之后他一直留在湾区,先后在谷歌和 Facebook 工作。19 年,他加入师兄韩旭的公司文远知行,现在担任感知团队的执行总监。杨建朝是 2011 年毕业,在 Adobe 和 Snap 研究院分别待了几年,最后去了字节,担任硅谷 AI Lab 的负责人。周曦最终选择了创业。2011 年中国科学院重庆研究院筹建之时,他受院长袁家虎三顾茅庐赴美邀请,决定回国做贡献、为国内吸引人才。四年后,他又将人脸识别技术进一步落地,创立了云从科技。曹亮亮在学界和业界辗转多次,创办过一家公司,最后回到了 NEC 所在的城市,在苹果公司担任主任科学家。IDL 成立后,余凯开始为百度寻找全世界的顶级人才。他先为李彦宏介绍了他昔日在 NEC 的老友。有天中午,余凯在饭桌上跟李彦宏讲,要搞深度学习,就一定要招世界上最好的人才。李彦宏问招谁,余凯跟四年前那次一样,毫不犹豫地说出了徐伟的名字。李彦宏接着问如何才能把徐伟吸引过来,余凯就半开玩笑地信口说了一句,「你得请他吃饭才行。」没想到李彦宏马上就安排了这顿饭。余凯便把徐伟从美国「忽悠」回北京,把他带到百度的招待室,随后李彦宏进来。说起李彦宏给徐伟的入职待遇,余凯十分羡慕。李彦宏邀他来百度的时候都没有请吃饭,后面徐伟入职时,李彦宏更是发了全体员工信,称徐伟的加入将推动百度的技术研发为全人类进步做出贡献。足见李彦宏对徐伟的重视。徐伟加入百度后与余凯讨论工作,一致认为要做一个深度学习平台。为了快速推动项目,余凯专门申请了一个会议室,贴上门牌「Paddle 封闭作战室」,并立即拉来四个人跟徐伟一起做。他们从早干到晚,很快做出了 PaddlePaddle 的第一个版本,在 IDL 和其他部门都用了起来。徐伟因此成为百度飞桨的创始者和奠基人。在余凯的影响下,当时正在百度美国研发中心的黄畅也回了国,负责百度架构方面的工作,还与余凯一起为百度搭建了图像识别这一技术路线。张潼紧接着也离开学术界,加入 IDL,后来以研究院副院长的身份组建了百度大数据实验室。2014 年,李彦宏启动百度「少帅计划」,余凯亲自招募了李沐、李磊、顾嘉唯三位少帅。李沐是在余凯的带领下开始做深度学习的。当时余凯破例创造条件,让李沐在 CMU 读博的同时加入「少帅计划」,指导他做深度学习。后来李沐与陈天奇等人开发 MXNet 框架,也在余凯那里有一个源头。余凯曾主张开源 PaddlePaddle,但遭百度内部集体否决,觉得很可惜,认为开源框架即使不在百度做,也要有其他人在别处去做。于是余凯在某个周末把李沐约到清华科技园的咖啡馆,跟他说开源深度学习平台很值得尝试。李沐深以为然,回到 CMU 后就开始了行动。前不久,李沐与其导师 Alex Smola 离职创业,据称要做当下最热门的大模型。其实李沐在百度时就曾与余凯讨论过大模型,当时余凯认为,把百度的语音、图像、视频等项目结合起来,可以训练出一个大模型,类似今天的 ChatGPT。只可惜没有真正去做,一是资源投入太大,二是李沐优先去做开源平台了。(预告:深度学习崛起之时,贾扬清、李沐、陈天奇等一批先行者以及以百度为代表的国内公司率先进入深度学习框架研究,雷峰网后续将另撰文《AI 框架的中国先行者们》,请持续关注,欢迎添加微信 Fiona190913 交流。)李磊是现任加州大学圣巴巴拉分校助理教授,当初他也是在余凯的极力建议下加入 IDL 做深度学习。两年后,李磊有天打电话给余凯,说他想去百度新闻做推荐系统。接到电话的余凯正在外面为地平线忙着跑融资,他马上停站到路边,花了两个小时劝说李磊,应该去一个推荐业务更受重视的公司,哪怕是一家小公司。这通电话结束后,余凯马上就亲自把李磊推荐给了张一鸣本人,最后李磊出任今日头条科学家兼头条实验室总监。后来余凯总跟人感慨,「你看我把李磊劝过去,这个决策很对吧?」当时张一鸣求贤若渴,满世界找机器学习人才,还曾公开说谁能给他推荐机器学习顶尖人才,就送谁一辆汽车。尽管余凯迄今为止也没有见过汽车的影子,但这个伯乐他当得是十分开心。第三位少帅是顾嘉唯。余凯当初找到他时,更是花了大半年才说服他从 MSRA 离开,加入 IDL。他主要负责人机交互方面的架构研发,领导过百度智能眼镜、智能自行车等项目。在招募少帅的同时,余凯还在 IDL 组建了中国第一个自动驾驶军团。他招的第一批人,包括倪凯、杨文利、张天雷等,如今都是自动驾驶领域的明星人物。后来自动驾驶单独成立事业部,王劲(现中智行创始人)任总经理,背后也有余凯的助推。当时王劲因其部门被并到大搜索而心灰意冷,想要走人,即将离职的余凯看在眼里也很同情,随口跟他说了句,「要不然你把自动驾驶接过去」。过后李彦宏也确实将自动驾驶交付给了王劲。在 2014 年,百度的大事件中还包括余凯引进吴恩达。那段时间,余凯为网罗人才常往返于湾区,百度也在库比蒂诺设立了前哨实验室、吸引北美人才。这年 2 月,余凯去美出差,就住在了离这个实验室不远的帕洛阿尔托喜来登酒店。那天,吴恩达也正巧在这家酒店。两人有两年没见,就在酒店游泳池边上聊各自最近的进展,许久之后意犹未尽,便约了晚上餐厅再叙。吴恩达说到自己离开谷歌大脑后做的在线教育 Coursera,余凯隐约感到他的事业进展不顺。百度首席科学家的位置已经空了一年多,这正是揽下吴恩达的好时机。就像乔布斯当年说的「想卖一辈子糖水,还是想跟我一起改变世界」那句话,余凯向面前的好友试探道,「你与其在这里搞在线教育,还不如回到真正打动你、你热情所在的 AI 事业上来。」这句话让失意的吴恩达一下子打开了心扉。见吴恩达有几分动容,余凯接着说,「百度愿意敞开大门吸引你过来。」后面的事情大家都知道了。吴恩达先后与百度高级副总裁王劲和李彦宏见面,5 月正式入职。
但没有人知道的是,至少在 2014 年的 4 月,余凯已经有意离开百度。当时余凯去硅谷出差,在帕洛阿尔托的一家星巴克与吴恩达见了面。余凯跟他讲了一些入职的细节,包括怎么对外发新闻稿之类。说完这些,余凯话锋一转,语气诚恳地告诉吴恩达,「我打算离开百度。」吴恩达很吃惊,说「你把我忽悠到百度来,你是我在百度唯一认识的好朋友,我中文都讲不了,你可别跑啊。」事实上,那时余凯已经有了创立地平线这样一家公司的想法。他跟吴恩达坦诚讲自己想在芯片方面做点事,吴恩达也表示理解,但希望余凯至少再在百度待一年,也算帮自己过渡一下。余凯应允下来,陪好友留在了百度,直到 15 年的 5 月 23 号离开。后来李彦宏挽留余凯,一番长谈后,突然恍然大悟似的问余凯,「你把 Andrew(吴恩达)引进来,是不是因为你自己想走、想去创业?」余凯心里顿时想,Robin 的情商还真是高。他如实回答并解释说,百度在中国 AI 领域是绝对的第一,在全世界也是紧追谷歌,要继续吸引最好的人才进来,不能因为自己离开把这个事情给中断了,这是他对百度的一个承诺。余凯想做自动驾驶芯片的想法其实萌生得很早。当初余凯带领百度 IDL 最早大规模使用 GPU 做深度学习时就想到,用 GPU 做深度学习的效果是一种无心插柳,或许专门在 GPU 上做文章也大有可为。之后百度布局自动驾驶后更验证了他的结论:如果不做芯片,自动驾驶就无法量产。2015 年 7 月,余凯成立地平线,并拉了老相识黄畅和杨铭作为联合创始人。三人之间都已建立了很强的信任感,也都有用技术去改变产业的理想,所以很自然又走到了一起。其中杨铭是从美国回来,他当初离开 NEC 后去了 Facebook 人工智能实验室,曾提出著名的人脸识别算法 DeepFace。不过后来杨铭为了照顾在美国的家庭还是离开了地平线,如今他在芯翌科技担任首席科学家。
(左起)黄畅、余凯、杨铭
徐伟也在地平线延续了与余凯的第三段合作。追随深度学习二十余年的他对人工智能有着极强的使命感,2018 年 7 月他从百度离职后,决定回归技术研究本身,加入地平线担任通用 AI 首席科学家。事实证明,余凯押中了行业。与其他百度自动驾驶元老选择做全栈不同,他一开始就瞄准了处理器,如今他迎来了属于自己的时代。朱胜火与林元庆的再次相遇是在 2018 年的杭州。朱胜火在 NEC 的第十个年头,收到金榕的邀请,加入了阿里巴巴在西雅图新建的研发中心 iDST。后来达摩院成立,他就回国到了杭州。林元庆离开 NEC 是在 2015 年 11 月,受吴恩达的邀请加入了百度,先是担任 IDL 主任,兼任自动驾驶事业部副总经理,17 年升任百度研究院院长,还与徐伟代表百度牵头筹建了深度学习技术及应用国家工程实验室。后来,百度研究院架构几经调整,不顺遂之事多有发生。林元庆性格随和,但做事还是比较激进、有原则,他很快在 17 年的 9 月选择了离开。林元庆是个很执着的人,当初打完 ImageNet 比赛后,就想将研究推向市场,后来在百度也想做偏向落地的事情。现在终于到了创业的时机,林元庆很快在北京创立了 Aibee(爱笔智能)。有段时间林元庆在做杭州景区的摄像头业务时,就跟朱胜火碰了面。朱胜火在阿里也在做机器学习在线下的落地,两人谈到这一块都兴致勃勃,之后朱胜火去北京出差,又找林元庆聊了许久,决定与他一起发展事业。现在朱胜火作为 Aibee 的联合创始人,在西雅图全面负责机器学习。值得一提的是,先前在 NEC 待过的周峰也在 2018 年加入了 Aibee。王孝宇离开 NEC 比林元庆还早了一点。他没有回国,而是去洛杉矶与两位中科大校友杨建朝和李佳(李飞飞的学生)一起创建了 Snap AI 研究院。直到 2017 年,他选择回国出任云天励飞首席科学家。作为安防赛道的明星独角兽,云天励飞已经成功在今年四月登录科创板完成了上市。前不久,王孝宇还和李佳还一同当选了 IEEE Fellow。当初最早尝试做产业化的王进军,回到学术界后仍一直对技术落地抱有热情。所以 19 年他创办了凌图科技,做计算机视觉的落地。到如今,从硅谷NEC Lab走出的华人,已经在中国 AI 的疆土上四处扎根,野蛮生长。